本文開始

使用OpenCV DNNs方式來偵測人臉，雖然這個方式會使用到深度學習神經網路(框架為SSD (Single Shot Detector) + 基礎CNN網路使用ResNet)，但實際使用上不但簡單，偵測人臉的速度也很快。

相關的框架與CNN網路架構說明不在這個系列的範圍內 (怕講不完...)，有求知慾的邦友可以自行搜尋相關關鍵字。

前面提到過，使用OpenCV & Dlib來做人臉偵測，大概可以分為四種方式：

1. OpenCV Haar cascades
2. OpenCV deep neural networks (DNNs) <-- 今天說這個
3. Dlib HOG + Linear SVM
4. Dlib max-margin object detector (MMOD)

今天要介紹第二種方式。

OpenCV DNNs

習慣上我喜歡稱呼這個方法叫OpenCV神經網路檢測，

在辨識速度不差、辨識準確度高於哈爾特徵檢測外，也不用太多的參數調整需要介入。

如果是要做人臉偵測應用，一開始先使用這個方式來做，結果一定不會讓你失望的。

開始實作吧！

1. 在昨天Day9的專案下，同樣在face_detection目錄下新增一個Python檔案opencv_dnns.py
   
2. 在新增的Python檔案內輸入以下內容 (相關程式碼說明在註解內)：

   # 匯入必要套件
   import argparse
   import time
   from os.path import exists
   from urllib.request import urlretrieve
   
   import cv2
   import numpy as np
   from imutils.video import WebcamVideoStream
   
   prototxt = "deploy.prototxt"
   caffemodel = "res10_300x300_ssd_iter_140000.caffemodel"
   
   
   # 下載模型相關檔案
   if not exists(prototxt) or not exists(caffemodel):
       urlretrieve(f"https://raw.githubusercontent.com/opencv/opencv/master/samples/dnn/face_detector/{prototxt}",
                   prototxt)
       urlretrieve(
           f"https://raw.githubusercontent.com/opencv/opencv_3rdparty/dnn_samples_face_detector_20170830/{caffemodel}",
           caffemodel)
   # 初始化模型 (模型使用的Input Size為 (300, 300))
   net = cv2.dnn.readNetFromCaffe(prototxt=prototxt, caffeModel=caffemodel)
   
   
   # 定義人臉偵測函數方便重複使用
   def detect(img, min_confidence=0.5):
       # 取得img的大小(高，寬)
       (h, w) = img.shape[:2]
   
       # 建立模型使用的Input資料blob (比例變更為300 x 300)
       blob = cv2.dnn.blobFromImage(cv2.resize(img, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0))
   
       # 設定Input資料與取得模型預測結果
       net.setInput(blob)
       detectors = net.forward()
   
       # 初始化結果
       rects = []
       # loop所有預測結果
       for i in range(0, detectors.shape[2]):
           # 取得預測準確度
           confidence = detectors[0, 0, i, 2]
   
           # 篩選準確度低於argument設定的值
           if confidence < min_confidence:
               continue
   
           # 計算bounding box(邊界框)與準確率 - 取得(左上X，左上Y，右下X，右下Y)的值 (記得轉換回原始image的大小)
           box = detectors[0, 0, i, 3:7] * np.array([w, h, w, h])
           # 將邊界框轉成正整數，方便畫圖
           (x0, y0, x1, y1) = box.astype("int")
           rects.append({"box": (x0, y0, x1 - x0, y1 - y0), "confidence": confidence})
   
       return rects
   
   
   def main():
       # 初始化arguments
       ap = argparse.ArgumentParser()
       ap.add_argument("-c", "--confidence", type=float, default=0.5, help="minimum probability to filter detecteions")
       args = vars(ap.parse_args())
   
       # 啟動WebCam
       vs = WebcamVideoStream().start()
       time.sleep(2.0)
       start = time.time()
       fps = vs.stream.get(cv2.CAP_PROP_FPS)
       print("Frames per second using cv2.CAP_PROP_FPS : {0}".format(fps))
   
       while True:
           # 取得當前的frame
           frame = vs.read()
   
           rects = detect(frame, args["confidence"])
   
           # loop所有預測結果
           for rect in rects:
               (x, y, w, h) = rect["box"]
               confidence = rect["confidence"]
   
               # 畫出邊界框
               cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
   
               # 畫出準確率
               text = f"{round(confidence * 100, 2)}%"
               y = y - 10 if y - 10 > 10 else y + 10
               cv2.putText(frame, text, (x, y), cv2.FONT_HERSHEY_SIMPLEX, 0.45, (0, 0, 255), 2)
   
           # 標示FPS
           end = time.time()
           cv2.putText(frame, f"FPS: {str(int(1 / (end - start)))}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7,
                       (0, 0, 255), 2)
           start = end
   
           # 顯示影像
           cv2.imshow("Frame", frame)
   
           # 判斷是否案下"q"；跳離迴圈
           key = cv2.waitKey(1) & 0xff
           if key == ord('q'):
               break
   
   
   if __name__ == '__main__':
       main()
   
   

3. 在terminal輸入python face_detection/opencv_dnns.py，執行後的範例結果：
   

結論

1. 比較昨天使用哈爾特徵檢測方法的速度，雖然FPS有稍微下降 (約22 ~ 30)，但準確度相差非常多 (即使戴上口罩也有50%以上的辨識準確度)
2. 使用OpenCV的dnn深度學習模型，基本上都要將Input轉為blob：
   • 這個動作其實就是在做Computer Vision時常會提到的影像預處理 (Image Preprocessing)
   • 轉為blob函數blobFromImage(image, scaleFactor, size, mean)的各個參數：
     • image：要用來分析的影像；注意影像的大小要與模型接受的Input Size相同 (300, 300)
     • scaleFactor：影像做去均值後，要縮放的比例；這個模型訓練時使用的是1.0
     • mean：分別針對三種顏色(R, G, B)做影像去均值(mean substraction)；這個模型訓練時使用的是**(104.0, 177.0, 123.0)**
   • 簡單的說，當使用範例中的這個模型做人臉偵測時，圖片預處理的參數都是根據原始模型訓練得來；程式碼44行對任何要辨識的影像都是一樣的
3. 唯一需要調整的argument：confidence，可以依據實際使用狀況調整；當希望辨識的人臉準確率高，就將confidence調高，但相對辨識的結果數也比較少

參考程式碼在這

明天見！